# 向量化文档
from rag import *
documents=load_documents()
document_vectors= vectorize(documents)
# 创建Faiss索引
# 定义索引的维度，这应与模型输出的向量维度相匹配
index = faiss.IndexFlatL2(document_vectors.shape[1])  # 使用L2距离创建Flat索引
# 将文档向量添加到索引中
index.add(document_vectors)
import pickle
import os

# 确保目录存在
os.makedirs('/rag_result1', exist_ok=True)
# 将索引保存到文件
with open(index_path(), 'wb') as f:
    pickle.dump(index, f)
# 也可以保存文档向量，如果需要的话
with open(vector_base_path(), 'wb') as f:
    pickle.dump(document_vectors, f)

